实内积空间
- 定义:设 V 是实数域 R 上的线性空间,如果对 V 中任意向量 α 与 β,在 R 中都有唯一的实数与之对应,记作 (α,β),并对任意的α,β,γ∈V,k∈R,这对应具有性质:
- (1)(α,β)=(β,α)
- (2)(kα,β)=k(α,β)
- (3)(α+β,γ)=(α,γ)+(β,γ)
- (4)(α,α)≥0 当且仅当 α=0,(α,α)=0
- 则称这对应是 V 的一个内积,具有这种内积的线性空间称为实内积空间或欧几里得(Euclid)空间
例如:在线性空间 Rn 中,对于向量 α=(a1,a2,…,an),β=(b1,b2,…,bn),定义 (α,β)=a1b1+a2b2+…+anbn. 容易验证 (α,β) 是空间 Rn 的一个内积,Rn 是一实内积空间(常用的内积定义)
又例如:设 C[a, b] 是 [a, b] 上实连续函数构成的线性空间,对于 f(x), g(x),定义 (f(x),g(x))=∫baf(x)g(x)dx,是空间 C[a, b] 的一个内积,因而 C[a, b] 是一个实内积空间
实内积空间 V 中的内积具有的基本性质:
- (1)(α,kβ)=k(α,β)
- (2)(α,β+γ)=(α,β)+(α,γ)
- (3)(α,0)=(0,β)=0
(4)$(\sum\limits_{i=1}^m k_i\alphai, \sum\limits{i=1}^n l_j\betaj) = \sum\limits{i=1}^m\sum\limits_{j=1}^n k_i l_j(\alpha_i, \beta_j)$
定义:设 α 是实内积空间的一个向量,则称非负实数 √(α,α) 是向量 α 的长度,记作 |α|=√(α,α)
|α|=1,则 α 称为单位向量;|α|=0 的充要条件是 α 是零向量
定理:对实内积空间 V 中任意两个向量 α,β,恒有不等式 |(α,β)|≤|α||β|(柯西-彭雅斯基不等式)成立. 即,当 α,β 线性相关时,|(α,β)|=|α||β|;当 α,β 线性无关时,|(α,β)|<|α||β|
定义:设 α,β 是实内积空间的两个非零向量,则 α 与 β 的夹角 θ 的余弦规定为 cosθ=(α,β)|α||β|
定义:设 α,β 是实内积空间的两个向量,若 (α,β)=0,则称 α 与 β 正交. 记作 α⊥β
两个非零向量正交的充要条件是它们之间的夹角 θ=π2
规定零向量与任意向量正交
定义:设 α1,α2,…,αn 是n维实内积空间 V 的基,若它们都是单位向量,而又两两正交,即 $$(\alpha_i, \alphaj) = \delta{ij} = {0,i≠j 1,i=j$$ 则称 $\alpha_1, \alpha_2, …, \alpha_n$ 是 V 的标准正交基
例如:n维实内积空间 Rn 中的自然基 e1=(1,0,…,0),e2=(0,1,…,0),…,en=(0,0,…,1) 就是一组标准正交基
定理:设 α1,α2,…,αm 是实内积空间 V 中两两正交的非零向量,且 |αi|=1(i=1,2,…,m),则 α1,α2,…,αm 线性无关,而且对于 V 中任意向量 α,向量 β=α−(α,α1)α1−(α,α2)α2−…−(α,αm)αm 正交于每一个 αi(i=1,2,…,m)
定理:设 α1,α2,…,αn 是n维实内积空间 V 的任意基,则必存在 V 的标准正交基 γ1,γ2,…,γn,使 α1,α2,…,αn 到 γ1,γ2,…,γn 的过渡矩阵是三角形矩阵,即 $\gammai = a{i1}\alpha1 + a{i2}\alpha2 + … + a{ii}\alpha_i(i = 1, 2, …, n)$
定理:设 e1,e2,…,en 是实内积空间 V 的一组标准正交基,而且 (f1,f2,…,fn)=(e1,e2,…,en)Q,则 f1,f2,…,fn 是 V 的标准正交基的充要条件是,Q具有性质 QTQ=E
若方阵满足 QTQ=E,则称Q是正交矩阵. 显然其行列式为 ±1
Q是 m∗n 矩阵,若 QTQ=E,则称Q是具有标准正交列的矩阵
- 定义:设 V 与 W 是两个实内积空间,如果存在 V 到 W 的 1-1 而且映上的映射 σ,并且对于任意的 α,β∈V,k∈R,具有性质:
- (1)σ(α+β)=σ(α)+σ(β)
- (2)σ(kα)=kσ(α)
- (3)(σ(α),σ(β))=(α,β)
- 则称 σ 为 V 到 W 的同构映射,而称 V 与 W 同构,记作 V≅W
定理:两个有限维实内积空间同构的充要条件是它们的维数相等
定义:设 V1,V2 是实内积空间 V 的两个子空间,若对任意的 α∈V1,β∈V2,恒有 (α,β)=0,则称 V1 与 V2 互为正交,记作 V1⊥V2. V 中的一个向量 α,若对任意的 β∈V1,恒有 (α,β)=0,则恒称 α 与 V1 正交,记作 α⊥V1
定理:若子空间 V1,V2,…,Vs 两两相交,则 V1+V2+…+Vs=V1⨁V2⨁⨁…⨁Vs
定义:设 V1,V2 是实内积空间 V 的两个子空间,若 V1⊥V2,且 V=V1+V2,则称 V2 是 V1 的正交补
定理:n维实内积空间 V 的每一个子空间 W 都有唯一的正交补
子空间 W 的正交补用 W⊥ 表示
- 推论:W⊥ 是所有与 W 正交的向量组成的,即 W⊥=x∈V|x⊥W
实内积空间的线性变换
引理:设 ψ 是n维实内积空间 V 到实数域 R 的一个同态映射,则 V 中存在一个唯一向量 β,使对任意 α∈V,有 ψ(α)=(α,β)
定理(共轭变换的存在定理):设 σ 是n维实内积空间 V 的线性变换,则存在 V 的唯一线性变换 $\sigma^{},使对任意\alpha, \beta \in V,有(\sigma(\alpha), \beta) = (\alpha, \sigma^{}(\beta)),而且对V的任意一组标准正交基,若\sigma对应矩阵A,则\sigma^{*}对应A^T$
定义:设 σ 是n维实内积空间 V 的线性变换,如果存在 V 的线性变换 $\sigma^{},使对V中任意向量\alpha, \beta,有(\sigma(\alpha), \beta) = (\alpha, \sigma^{}(\beta)),则称\sigma^{}是\sigma$ 的共轭变换或*伴随变换
当 V 为有限维时,它的每一个线性变换都有唯一的共轭变换
共轭变换的基本性质:
- (1)$(\sigma^)^ = \sigma$
- (2)$(\sigma + \tau)^ = \sigma^ + \tau^*$
- (3)$(k\sigma)^ = k\sigma^$
(4)$(\sigma \tau)^ = \tau^ + \sigma^*$
定义:设 σ 是n维实内积空间 V 的一个线性变换,若对任意 α,β∈V,(σ(α),σ(β))=(α,β),则称 σ 是 V 的一个正交变换
定理:设 σ 是n维实内积空间 V 的一个线性变换,则以下提法等价:
- (1)σ 为正交变换
- (2)$\sigma^为\sigma的逆变换,即\sigma^ = \sigma^{-1}$
- (3)σ 在任意标准正交基 e1,e2,…,en 下的矩阵A为正交矩阵,即 AT=A−1
- (4)σ 把标准正交基仍变为标准正交基
- (5)σ 保持向量的长度不变,即对 α∈V,|σ(α)|=|α|
设正交变换在标准正交基下的矩阵为正交矩阵A,显然 detA=±1.
若 detA=1,则称 σ 为旋转,或为第一类的
若 detA=−1,则称 σ 为第二类的
定义:设 σ 是n维实内积空间 V 的一个线性变换. 若对 V 中任意向量 α 与 β,(σ(α),β)=(α,σ(β)),则称 σ 是 V 的一个对称变换
若σ 是 V 的对称变换,则以下提法等价:
- (1)σ 是对称变换
- (2)σ=σ∗
- (3)σ 对任意一组标准正交基 e1,e2,…,en 的矩阵是实对称矩阵
定义:设 σ 是n维实内积空间 V 的一个线性变换. 若对 V 中任意向量 α,β,(σ(α),β)=−(α,σ(β)),则称 σ 是 V 的一个反对称变换
若σ 是 V 的反对称变换,则以下提法等价:
- (1)σ 是反对称变换
- (2)σ∗=σ−1
- (3)σ 对任意一组标准正交基 e1,e2,…,en 的矩阵是实反对称矩阵
定义:设 W 是n维实内积空间 V 的子空间,因而 V=W⨁W⊥,即 V 中每个向量 X 都可唯一分解成以下形式:X=Y+Z(Y∈W,Z∈W⊥) 若映射 σ:V→W 定义为 σ(X)=Y,则称 σ 是 V 到 W 的一个正交投影变换. Y 称为向量 X 在子空间 W 上的正交投影或内射影,而 |Z| 称为向量 X 到子空间 W 的距离
若线性变换 σ 满足 σ=σ2,σ=σ∗,则 σ 是正交投影变换
定理:设 α∈V,则 W 中向量 β 是 α 在子空间 W 上的内射影的充要条件是,对任意 ξ∈W,有 |α−β|≤|α−ξ|
定理:推广集合空间中点到直线或平面“垂线最短”的命题. 此几何事实可用于解决最小二乘问题
定理:(1)x0 是 Ax=b 的最小二乘解的充要条件是 x0 是 ATAx=ATb 的解. (2)若 A 是满列秩矩阵,则 Ax=b 的最小二乘解为 x0=(ATA)−1ATb
实对称矩阵的标准形
引理:设 σ 是n维实内积空间 V 的对称变换,则 σ 的特征根都是实数
引理:设 W 是n维实内积空间 V 的对称变换 σ 的一个不变子空间,则 W 的正交补 W⊥ 仍为 σ 的不变子空间
引理:设 σ 是n维实内积空间 V 的对称变换,则 V 中属于 σ 的不同特征根的特征向量正交
定理:设 σ 是n维实内积空间 V 的对称变换,则必存在一组标准正交基,使 σ 对这组基的矩阵是实对角形矩阵
复内积空间
- 定义:设 V 是复数域 C 上的线性空间,如果对 V 中任意向量 α 与 β,在 C 中都有唯一的复数与之对应,记作 (α,β),并且这对应满足以下条件 (k∈C,α,β,γ∈V)
- (1)(α,β)=¯(β,α)
- (2)(kα,β)=k(α,β)
- (3)(α+β,γ)=(α,γ)+(β,γ)
- (4)(α,α)≥0,当且仅当 α=0 时,(α,α)=0
- 则这对应称为 V 中的一个内积,具有内积的线性空间称为复内积空间或酉空间
例如(通常定义的内积):在线性空间 Cn 中,对于向量 α=(a1,a2,…,an) 与 β=(b1,b2,…,bn),定义 (α,β)=a1¯b1+a2¯b2+…+an¯bn,为 Cn 的一个内积,Cn 是一个复内积空间
复内积空间 V 中的内积的基本性质:
- (1)(α,kβ)=¯k(α,β)
- (2)(α,β+γ)=(α,β)+(α,γ)
- (3)(α,0)=(0,β)=0
- (4)$(\sum\limits_{i=1}^m k_i \alphai, \sum\limits{j=1}^n l_j \betaj) = \sum\limits{i=1}^m \sum\limits_{j=1}^n k_i \overline{l_j}(\alpha_i, \beta_j)$
非负实数 √(α,α) 称为向量 α 的长度,记作 |α|
柯西-彭雅可夫斯基不等式仍然成立:对任意向量 α 和 β,(α,β)(β,α)≤(α,α)(β,β)
非零向量 α 与 β 的夹角 θ 规定为 cos2θ=(α,β)(β,α)(α,α)(β,β)
非零向量 α 与 β,如果 (α,β)=0,那么称 α 与 β 正交(可与实内积空间一样定义标准正交基)矩阵 $Q{nn},若Q^HQ = E$,则称 Q 为*酉阵
若 $U = U{m*n},且U^HU = E$,则称 U 是具有标准正交列的矩阵复内积空间中有类似的共轭变换、埃尔米特变换和酉变换对应实内积空间的共轭变换、对称变换和正交变换,线性变换 σ 在标准正交基下的矩阵A,σ对应变换在此基下的矩阵分别为共轭转置矩阵、埃尔米特矩阵和酉阵
定义:设 σ 是n维复内积空间的线性变换,若 $\sigma\sigma^ = \sigma^\sigma,则\sigma$ 称为正规变换或正规算子. 类似的,设 $A \in C^{nn},若AA^H = A^HA$,则 A 称为*正规矩阵
定理:设 σ 是正规变换,则
- (1)σ(α)=0 的充要条件是 σ∗(α)=0
- (2)σ−λI 是正规变换
- (3)σ 的任何特征向量也是 σ∗ 的特征向量
- (4)σ 的属于不同特征根的特征向量是正交的
- (5)若 W 是 σ 的不变子空间,则 W⊥ 仍是 σ 的不变子空间
- (6)必存在一组标准正交基,使 σ 对这组基的矩阵是对角阵
矩阵的奇异值分解与广义逆
定理:设 A∈Cm∗n,rank(A)=r,则 AAH 与 AHA 各有r个正的特征值,而且对应相等
定义:设 $A \in C^{mn},rank(A) = r,A^HA的特征值是\lambda_1 \geq \lambda_2 \geq … \geq \lambdar > \lambda{r+1} = … = \lambda_n = 0,则称\mu_i = \sqrt{\lambda_i}(i = 1, 2, …, n)$ 是 A 的奇异值,其中 μ1,…,μr 称为 A 的*正奇异值
埃米尔特矩阵的奇异值恰是其特征值的绝对值
- 定理:设 A,B∈Cm∗n,若 A 与 B 酉等价,则 A 与 B 有相同的奇异值
A 与 B 酉等价,即存在两个酉阵 S 和 T,使 B = SAT
- 定理(奇异值分解定理):设 $A \in C^{mn}, rank(A) = r,若A的正奇异值按降序排列为\mu_1 \geq \mu_2 \geq … \geq \mu_r > 0,则存在m阶酉阵U和n阶酉阵V,使U^HAV = Δ0 00 = D \in C^{mn},其中\Delta = diag(\mu_1, \mu_2, …, \mu_r)$
A=UDVH 时称这个分解为 A 的奇异值分解
定理:设 A∈Rm∗n,rank(A)=r,若 A 的正奇异值按降序排列为 μ1≥μ2≥…≥μr>0,则存在m阶正交矩阵P和n阶正交矩阵Q,使 PTAQ=Δ0 00,其中 Δ=diag(μ1,μ2,…,μr)
定义:设 A∈Cm∗n,若存在矩阵 X,使得 AXA=A,XAX=X,AX=(AX)H,XA=(XA)H(Penrose方程),则称 X 是 A 的广义逆矩阵
定理:设 A∈Cm∗n,rank(A)=r,则 A 的广义逆矩阵存在并且唯一,当 A=UΔ0 00VH 为 A 的奇异值分解时,A 的广义逆矩阵 A+ 为 A+=VΔ−10 00U
A+ 具有以下性质:
- (1)(A+)+=A,(AH)+=(A+)H
- (2)A−1 存在时,A+=A−1
- (3)A+=(AHA)+AH=AH(AAH)+
- (4)(AHA)+=A+(AH)+
- (5)设 AH=A,A2=A,则 A+=A
- (6)AA+ 与 A+A 均为半正定埃米尔特矩阵
- (7)rank(A)=rank(A+)=rank(A+A)=rank(AA+)
(8)设 A∈Cm∗n,则 rank(A)=m−rank(Em−AA+)=n−rank(En−A+A)
定理:设线性方程组 Ax=b 有解,则它的全部解可表示为 x=A+b+(En−A+A)α(α 为任意n维列向量)
定理:线性方程组 Ax=b 的全部最小二乘解为 ξ=A+b+(En−A+A)α(α 为任意n维列向量)
引用
- 《高等代数与解析几何》,王心介,科学出版社